À medida que as empresas adotam cada vez mais modelos de linguagem grandes (LLMs), melhorar a precisão do conhecimento do modelo e reduzir as alucinações tornou-se um desafio importante. Pesquisadores do Meta AI apresentaram em um novo artigo uma "camada de memória escalável", que pode oferecer uma solução para esse problema. A ideia central da camada de memória escalável é adicionar mais parâmetros aos LLMs sem aumentar os recursos computacionais de tempo de inferência, melhorando assim sua capacidade de aprendizado. Essa arquitetura é adequada para cenários que exigem o armazenamento de uma grande quantidade de conhecimento factual, mas desejam manter a inferência rápida.

A Meta anunciou recentemente uma descoberta inovadora: o desenvolvimento de uma nova tecnologia de camada de memória que melhora significativamente a precisão factual dos modelos de linguagem grandes (LLMs) e permite uma expansão sem precedentes na escala de parâmetros. Essa tecnologia não apenas desafia os métodos tradicionais de expansão de redes neurais, mas também fornece novas direções para o design de arquiteturas de IA futuras. O cerne desta pesquisa reside no uso de um mecanismo de pesquisa chave-valor treinável para adicionar parâmetros extras ao modelo sem aumentar a quantidade de cálculos (FLOPs). Este método central se baseia em...